導入（Maximizing LLM Performance）
性能の最適化は線形ではない
線形のイメージ: Prompt engineering -> RAG -> fine-tuning
RAGとfine-tuningは解く課題が違う
2つの軸
context optimization
What the model needs to know
LLM optimization
How the model needs to act
どう行動する必要があるか、どんなメソッドを呼び出す必要あるか
Prompt engineeringが最初の出発点（context低・LLM低）
評価して、コンテキストの問題かLLMの問題か切り分ける
ref: https://youtu.be/ahnGLM-RC1Y?si=ub5CgvSBUAGwhIC4&t=254 （4象限）
より多くのまたはより関連性の高いコンテキストが必要と切り分けられたらRAG
一貫性のある指示が必要 fine-tuning
全てを使用するのが4象限の右上
例
Prompt
評価
ベースライン
Add few shot（まだプロンプトエンジニアリング）
Add simple retrieval（RAGの領域）
Fine-tune model
RAGに戻る（HyDE retrieval + fact-checking）
再度Fine-tune